945. Орлов А.И. Математическая теория рейтингов - инструмент изучения успешности социальных систем // Успешность развития социальных систем и государственная политика и управление. Материалы Всероссийской научно-общественной конференции. Москва, 28 ноября 2014 г. М.: Наука и политика, 2015. С. 94 - 102.

Математическая теория рейтингов - инструмент изучения успешности социальных систем

Орлов Александр Иванович
Проф., д.э.н., д.т.н., к.ф.-м.н.
МГТУ им. Н.Э. Баумана, проф., зав. лаб.;
МФТИ, проф.; 
ЦНИИМАШ, главный специалист

	Аннотация. При разработке управленческих решений с целью совместного учета и соизмерении различных факторов, частичного снятия неопределенности широко используются рейтинги. Статья посвящена математической теории рейтингов - инструментов изучения социально-экономических систем. Обсуждаются причины, влияющие на величины рейтингов. Подробнее рассмотрены бинарные рейтинги, когда рейтинговая оценка принимает два значения. Для сравнения рейтингов предлагаем использовать новый показатель качества диагностики - прогностическую силу.

	Ключевые слова: математические методы, рейтинги, успешность, социальные системы, прогностическая сила.

	Разрабатываемое научным коллективом под руководством С.С. Сулакшина направление исследований, посвященное успешности развития социальных систем (см., например, [1]), имеет большой познавательный потенциал. Основные подходы и интеллектуальные инструменты могут быть применены не только при обсуждении проблем государственной политики и управления. Так, является перспективным их использование в составе организационно-экономического обеспечения решения задач управления в аэрокосмической отрасли [2]. Креативная (эвристическая) сила критерия успешности в духе подхода С.С. Сулакшина позволяет объяснить, почему проект создания сверхтяжелого грузового самолета "Руслан" оказался успешным, а аналогичный проект "Мрия" - нет. Методология С.С. Сулакшина полезна для анализа проектов разработки изделий ракетно-космической техники, в частности, реализуемости [3] и рисков [4] таких проектов. Основание прорывной силы подхода С.С. Сулакшина в том, что хотя хорошо известно, что при принятии управленческих решений (например, о реализации инвестиционных проектов) необходимо учитывать весь комплекс социальных, технологических, экологических, экономических, политических факторов (СТЭЭП-факторов), нельзя опираться лишь на чисто экономические расчеты [5, с.190 - 191], в практической деятельности используют лишь экономические характеристики инвестиционных проектов, такие, как чистая текущая стоимость NPV, внутренняя норма доходности IRR, дисконтированный срок окупаемости и т.п. Это происходит по двум причинам. Во-первых, из-за отсутствия общепринятых технологий агрегирования СТЭЭП-факторов при анализе инвестиционных проектов. Во-вторых, из-за разобщенности различных областей знаний, в которых рассматриваются СТЭЭП-факторов. Обе причины снимаются в подходе С.С. Сулакшина. Технология агрегирования СТЭЭП-факторов разработана при конструировании критерия (рейтинга) успешности. Для его конструирования необходимо взаимодействие специалистов из различных областей знаний, для организации такого взаимодействия созданы соответствующие технологии.
	Статья посвящена обсуждению одного из инструментов подхода С.С. Сулакшина - математической теории рейтингов. 
	Об определении понятия «рейтинг». Термин «рейтинг» происходит от английского «to rate» (оценивать) и «rating» (оценка, оценивание) [6]. Рейтинги строят обычно на основе синтеза многих показателей, как объективных, так и оцениваемых экспертно. Технологии объединения оценок единичных показателей в групповые и обобщенные также обычно бывают экспертными. Примером достаточно сложного рейтинга является оценка вероятности успешного выполнения инновационного проекта, например, на основе аддитивно-мультипликативной модели [7]. Рейтинги используются в различных процедурах принятия решений, прежде всего для оценивания, выбора, планирования. В частности, рейтинги целесообразно использовать при целеполагании (для соизмерения целей).
	Термин «рейтинг» - синоним термина «интегральный (единый, обобщенный, системный) критерий (оценка, показатель)», позволяющий сравнивать объекты (субъекты) с интересующей пользователя (этим термином) точки зрения. Для оценивания могут использоваться объекты различной математической природы - числа (действительные или натуральные), градации качественного признака (например, в России оценивание знаний студентов проводят в порядковой шкале с помощью градаций "неудовлетворительно", "удовлетворительно", "хорошо", "отлично"), реже – упорядочения (ранжировки) [5, с.410] или математические объекты иной природы. 
	Рейтинги активно применяют на всех этапах принятия решений при управлении социально-экономическими системами (цикла управления с обратной связью) - при целеполагании, планировании, выполнении планов, анализе результатов (часто ведущему к корректировке целей). 
	Популярны [5, c.287 - 292] линейные рейтинги 
f(x1, x2, …, xm) = a1x1 + a2x2 + … + amxm
в виде линейной функции от единичных показателей (факторов, критериев) x1, x2, …, xm. Коэффициенты a1, a2, …, am называют коэффициентами важности (весомости, значимости). Их определяют либо экспертным путем, либо по статистическим данным, используя обучающие выборки. Используют и другие виды рейтингов, например, взвешенные степенные средние значений единичных показателей [5, с.405].
	Однако при применении рейтингов необходимо учитывать влияние на выводы возможных отклонений исходных данных и предпосылок модели. Проблеме устойчивости выводов посвящены монографии [8, 9]. Так, на величину рейтинга влияют способы измерения единичных показателей, выбор набора показателей; значения коэффициентов важности. Обсудим, насколько значительными могут быть эти влияния.
	Влияние на выводы способа измерения единичного показателя. "В 2014 году ВВП Китая по паритету покупательной способности (ППС) составит $17,6 трлн., а ВВП США впервые окажется меньше – $17,4 трлн. Китайский ВВП в текущих ценах в долларах к концу 2014 года составит $10,4 трлн., а ВВП США – $16,8 трлн." [10]. Таким образом, ВВП по ППС может существенно отличаться от ВВП в текущих ценах (в долларах США) - для Китая в 17,4 / 10,4 = 1,67 раза.
	Второй пример. Согласно [11], по данным Пограничной службы число въехавших в Россию превышает число выехавших примерно на 1,5 млн. человек (за год), а по данным Росстата – на 200 – 300 тысяч. Расхождение в 5 раз. "Миграционный прирост за 1992-2013 гг. составил примерно 45 млн. По официальной версии Росстата – не более 7,5 млн. Отсюда скрытый миграционный прирост, не отражённый сводками Росстата, составляет примерно 37,5 млн." [11]. Ясно, что при расчете разного рода индексов замена численности населения РФ с 143 млн. человек на 180 млн. человек может привести к значительному изменению значений этих индексов.
	Влияние на выводы набора показателей. В качестве примера рассмотрим индекс инфляции (рейтинг цен). Распространенный подход к измерению роста цен основан на выборе и фиксации инструмента экономиста и управленца - потребительской корзины (Q1(t), Q2(t), ...,  Qn(t)), не меняющейся со временем, т.е. (Q1(t), Q2(t), ..., Qn(t)) ≡ (Q1, Q2, ..., Qn). Здесь Qi – заданный объем потребления i-го товара или услуги из n включенных в корзину. Пусть pi(t), i = 1, 2, ..., n, - цена i-го товара (услуги) в момент t. Стоимость S(t) потребительской корзины в момент времени t такова: 
S(t) = p1(t)Q1 + p2(t)Q2 + … + pn(t)Qn.
Индексом инфляции (индексом роста цен) называется отношение 
I(t1, t2) = S(t2)/S(t1).
	С 1993 г. мы занимаемся изучением роста цен, используя минимальную потребительскую корзину продовольственных товаров (полученным результатам посвящена глава в учебнике "Эконометрика" [12, с.198 - 274]). Индексы роста потребительских цен, рассчитанные по этой корзине, за периоды после 2007 г. примерно в 3 раза больше, чем соответствующие индексы инфляции Росстата [13]. Это различие объясняется различием потребительских корзин - нашей и Росстата.
	Влияние на выводы значений коэффициентов важности. В Указе Президента Российской Федерации от 21 августа 2012 года № 1199 «Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации» вместо множества критериев эффективности в управленческий обиход введены 11 интегральных показателей деятельности органов исполнительной власти субъектов Российской Федерации, в том числе "реальные располагаемые денежные доходы населения". Для расчета значений этого показателя необходимо использовать соответствующие индексы инфляции [14].
	По нашим расчетам реальная средняя заработная плата в России в конце 2014 г. примерно в 2 раза меньше, чем в конце 1990 г., если исходить из используемого нами индекса инфляции, рассчитанного по минимальной потребительской корзине продовольственных товаров. Если же исходить из индекса инфляции, рассчитанного по потребительской корзине из одного товара – бутылки водки, то реальная средняя заработная плата в России в конце 2014 г. примерно в 3 раза больше, чем в конце 1990 г. Различие в 6 раз.
	Вопросам обоснованного выбора коэффициентов важности посвящен ряд работ проф. В.В. Подиновского (см., например, [15]).
	Во многих управленческих ситуациях значительные различия между объектами выявляются при использовании любого рейтинга. Рассмотрим для определенности задачу сравнения объектов. Отмеченные ранее сложности построения обоснованного рейтинга во многих ситуациях принятия управленческих решений снимаются тем, что значительно отличающиеся объекты, как показывает практика реальных расчетов, хорошо различаются с помощью многих рейтингов. 
	Так, упорядочения с помощью линейного рейтинга часто совпадают  (или близки) с упорядочениями в случае равных весовых коэффициентов. Однако установить это удается лишь после того, как соответствующие рассматриваемой задаче весовые коэффициенты оценены, обычно с помощью экспертных технологий.
	Согласно фундаментальным результатам теории устойчивости [8, 9] одни и те же исходные данные целесообразно обрабатывать несколькими способами. Совпадающие выводы, полученные при применении нескольких методов, скорее всего, отражают свойства реальности. Различие – следствие субъективного выбора метода. 
	Отметим, что опыт продвинутых областей прикладной математики показывает, что искать оптимальный метод (оптимальный вид рейтинга) бесполезно, поскольку каждый метод оптимален в соответствующем для него смысле. Например, в хорошо изученной в математической статистике задаче проверки статистической гипотезы однородности двух независимых выборок каждый из обычно используемых критериев является оптимальным при подходящем распределении вероятностей на множестве альтернативных гипотез [16]. В статистике нечисловых данных для каждого из применяемых расстояний между объектами нечисловой природы предложена система аксиом, из которой вытекает необходимость использования именно этого расстояния - это утверждение убедительно обосновано в обзоре [17].
	Целесообразно анализировать множество Парето. При использовании результатов сравнения объектов по нескольким показателям (критериям, рейтингам), в том числе в динамике, полезным является выделение множества Парето.
	Приведем определение этого понятия. Множество Парето (подмножество множества сравниваемых объектов) обладает следующим свойством: любой из объектов, входящих в это множество, хотя бы по одному показателю (фактору, критерию) лучше любого другого объекта, входящего в это множество.
	В качестве примера использования подходов многокритериальной оптимизации (типа построения множества Парето) рассмотрим российский индекс научного цитирования (РИНЦ), который в настоящее время административными методами внедряется для оценки научной активности отдельных исследователей, их объединений (например, научных лабораторий), научно-исследовательских организаций и высших учебных заведений. В этом индексе используются три основных показателя научной активности определенного автора – число публикаций автора, число цитирований его работ, индекс Хирша. Выделим три группы исследователей: первая - все три показателя научной активности меньше, чем у автора Х; вторая - все три показателя научной активности больше, чем у Х; третья (промежуточная) – все остальные. Напрашивается интерпретация: члены первой группы внести в науку меньший вклад, чем Х, члены второй - больший, чем Х, члены третьей сравнимы с Х по вкладу в науку. В [18] проанализированы данные по 235 исследователям. Любопытно, что если в качестве Х взять автора настоящей статьи, то в первую группу входят 206 исследователей, т.е. 87,66%, в том числе все кандидаты наук, 141 из 149 докторов наук (94,64%), 18 из 23 членов-корреспондентов РАН (78,26%), 24 из 40 академиков РАН (60%). Во вторую группу входят 4 исследователя (1,70%), в том числе 1 доктор наук из 149 (0,67%), 1 член-корреспондент РАН из 23 (4,35%) и 2 академика РАН из 40 (5,0%). Таким образом можно строить своеобразный рейтинг научной активности (успешности научной деятельности) в виде вектора долей численности описанных выше трех групп (с разделениям по группам, выделенным по наличию той или иной "ученой степени" - от кандидата наук до академика РАН).
	Какой рейтинг лучше? Один из подходов к определению качества рейтингов основан на простой мысли - из двух рейтингов тот лучше, который сильнее выявляет различия между изучаемыми группами. Например, при изучении дифференциации доходов для лучшего разделения групп населения надо из номинальной зарплаты (доходов) вычитать прожиточный минимум, поскольку расходы на его обеспечение для всех групп населения обязательны и одинаковы.
	Рассмотрим простейший, но важный для практики частный случай - бинарные рейтинги, для которых рейтинговая оценка принимает два значения. Объект оценки с помощью бинарного рейтинга относится к одному из двух классов. Следовательно, теория бинарных рейтингов – часть математической теории классификации [19, 20], а именно, часть дискриминантного анализа (теории диагностики, распознавания образов с учителем).
	Результаты анализа данных с помощью алгоритма диагностики в случае двух классов описываются долями:
	a -правильной диагностики в первом классе и  
	b - правильной диагностики во втором классе. 
	Как оценить качество этого бинарного рейтинга?
	Прогностическая сила бинарного рейтинга. Для сравнения бинарных рейтингов (алгоритмов диагностики) предлагаем [21] использовать (эмпирическую) прогностическую силу c* = Ф(d*/2), где d* = F(a) + F(b). Здесь Ф(x) - функция стандартного нормального распределения вероятностей с математическим ожиданием 0 и дисперсией 1, а F(y) - обратная ей функция. 	Методами математической статистики найдено асимптотическое распределение прогностической силы, на основе которой указаны методы точечного и интервального (путем построения доверительного интервала) оценивания для рассматриваемого показателя качества бинарного рейтинга, а также разработан метод проверки адекватности его применения (т.е. проверки возможности использования линейного рейтинга для анализа конкретных данных). Обоснование методов и расчетные формулы приведены в статье [21], имеющейся в РИНЦ и выложенной на сайте журнала.
	Необходимо развивать математический инструментарий. По нашему мнению, математическая теория рейтингов - эффективный инструмент изучения успешности социальных систем. Развитие и интенсивное применение этого инструмента весьма полезны для научных исследований и прикладных разработок в области, которой посвящена конференция "Успешность развития социальных систем и государственная политика и управление", а также и в смежных областях. Некоторые предварительные соображения приведены в работе [22].
	Отметим, что математическая теория рейтингов - лишь часть математического инструментария, который может использоваться членами неформального (в смысле В.В. Налимова и З.М. Мульченко [23]) научного коллектива, сплотившегося вокруг Центра научной политической мысли и идеологии. В рамках этого коллектива целесообразно вести исследования, в частности, по проблемам развития и адекватного использования математического инструментария, некоторые из которых кратко обозначены в настоящей статье.

Список использованной литературы
1. Сулакшин С.С. Теория и феноменология успешности сложной социальной системы. М.: Научный эксперт, 2013. 232 с.
2. Орлов А.И. О подходах к разработке организационно-экономического обеспечения решения задач управления в аэрокосмической отрасли // Научный журнал КубГАУ. 2014. №5. С. 73 – 100. <http://ej.kubagro.ru/2014/05/pdf/05.pdf>. 
3. Волков В.А., Орлов А.И. Организационно-экономические подходы к оценке реализуемости проектов по созданию ракетно-космической техники // Экономический анализ: теория и практика. 2014. № 11. С.41–47.
4. Орлов А.И., Цисарский А.Д. Особенности оценки рисков при создании ракетно-космической техники // Национальные интересы: приоритеты и безопасность. 2013. №43. С.37 – 46.
5. Орлов А.И. Менеджмент: организационно-экономическое моделирование. Ростов-на-Дону: Феникс, 2009. 475 с.
6. Карминский А.М., Пересецкий А.А., Петров А.Е. Рейтинги в экономике: методология и практика. М.: Финансы и статистика, 2005. 240 с.
7. Орлов А.И. Аддитивно-мультипликативная модель оценки рисков при создании ракетно-космической техники // Научный журнал КубГАУ. 2014. – №8. С. 78 – 111. <http://ej.kubagro.ru/2014/08/pdf/04.pdf>.
8. Орлов А.И. Устойчивость в социально-экономических моделях. М.: Наука, 1979. 296 с.
9. Орлов А.И. Устойчивые экономико-математические методы и модели. Saarbrücken, Lambert Academic Publishing, 2011. 436 с. 
10. Сухаревская А. Китайская экономика официально стала крупнейшей в мире // <http://top.rbc.ru/economics/08/10/2014/5434f48dcbb20faeeafe2a0a>.
11. Пшеницын А.Ю. Круг восьмой // <http://www.za-nauku.ru//index.php?option=com_content&task=view&id=8255&Itemid=35>.
12. Орлов А.И. Эконометрика. Изд. 4-е, доп. и перераб. Учебник для вузов. Ростов-на-Дону: Феникс, 2009. 572 с.
13. Рост цен в России // <http://forum.orlovs.pp.ru/viewtopic.php?f=2&t=660&p=7770#p7770>.
14. Куликова С.Ю., Муравьева В.С., Орлов А.И. Контроллинг уровня потребительских цен и прожиточного минимума // Стратегическое управление и контроллинг в некоммерческих и публичных организациях: фонды, университеты, муниципалитеты, ассоциации и партнерства. Материалы II Международной научно-практической конференции по контроллингу. / Под науч. ред. С.Г. Фалько. М.: НП «Объединение контроллеров», 2012. С. 37 – 47. <http://forum.orlovs.pp.ru/viewtopic.php?f=2&t=1398&p=6011#p6011>.
15. Подиновский В.В. Введение в теорию важности критериев в многокритериальных задачах принятия решений. М.: Физматлит, 2007. 64 с.
16. Никитин Я.Ю. Асимптотическая эффективность непараметрических критериев. М.: Наука, 1995. 240 с.
17. Раушенбах Г.В. Меры близости и сходства // Анализ нечисловой информации в социологических исследованиях. М.; Наука, 1986. С.169-203.
18. Показатели РИНЦ у А.И. Орлова выше, чем у 60% академиков РАН // <http://forum.orlovs.pp.ru/viewtopic.php?f=1&t=1839>.
19. Орлов А.И. О развитии математических методов теории классификации // Заводская лаборатория. Диагностика материалов. 2009. Т.75. №7. С.51-63.
20. Орлов А.И. Математические методы теории классификации // Научный журнал КубГАУ. 2014. №1. С.423–459. <http://ej.kubagro.ru/2014/01/pdf/23.pdf>.
21. Орлов А.И. Прогностическая сила – наилучший показатель качества алгоритма диагностики // Научный журнал КубГАУ. 2014. №5. С. 15 – 32. <http://ej.kubagro.ru/2014/05/pdf/02.pdf>.
22. Математические теории рейтингов // <http://ibm.bmstu.ru/nil/biblio.html#stats-05-reit>.
23. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. М.: Наука, 1969. 192 с.